L’attuale fisionomia del monumento è quella relativa al progetto che Gian Giacomo dell’Acaya elaborò e portò a termine tra il 1539 e il 1549, su committenza dell’imperatore Carlo V . La realizzazione del castello, al quale si accedeva attraverso un profondo fossato e due porte, insieme alle nuove mura cittadine, fu fortemente voluta da Carlo V e per quest’occasione si operarono alcune demolizioni: l'antica chiesa di Santa Croce e l’annesso convento dei Celestini, ricostruiti nelle vicinanze.